Источники

Пожалуйста, ознакомьтесь с Правилами использования материалов на данном ресурсе.

Помощник

Помощник предназначен для упрощения добавления Источников парсинга в программу. После нажатия на кнопку Помощник откроется окно Помощник добавления источников.

Что нужно добавить?

Далее, вы увидите 4 сценария действия. Выберите один из них и нажмите кнопку Далее в правом нижнем углу.

Вставить прокси в программу напрямую

При выборе этого сценария откроется пустое окно для внесения прокси.

После внесения прокси нажмите Далее и выберите вид добавляемых прокси.

Нажмите кнопку Далее и увидите информацию по вашему запросу для поиска желаемого прокси.

Если вы поставите галочку в пункте Настроить сейчас, то, после нажатия кнопки Добавить, помимо того, что создастся новый список, сразу же будут открыты его настройки.

На главной странице Источников появит ся новый источник в категории Без метки.

Источник прокси

В этом сценарии вы можете указать файл или веб-страницу, откуда будет происходить сбор прокси. После нажатия кнопки Далее появится окно, в котором нужно выбрать, где хранятся прокси:

• Путь к файлу — полный путь к файлу;
• Адрес URL — адрес источника в сети интернет.

Нажмите кнопку Далее и выберите вид добавляемых прокси.

Нажмите кнопку Далее и вы увидите результирующую информацию.

Если вы поставите галочку в пункте Настроить сейчас, то, после нажатия кнопки Добавить, помимо того, что создастся новый список сразу же будут открыты его настройки.

На главной странице Источников появится новый источник в категории Без метки.

Список источников прокси

Этот сценарий похож на предыдущий ("Источник прокси") с тем лишь отличием, что здесь вы сможете указать сразу несколько источников прокси (файлов и/или URL адресов).

Путь к списку источников прокси

Этот сценарий тоже похож на "Источник прокси" с тем лишь отличием, что здесь нужно указать Путь к файлу или Адрес URL, где сохранён список источников прокси.

Полезные ссылки

Основные настройки

Настройки источников

Главное окно (Источники)

Главное окно (источники)

Описание

На этой вкладке отображаются все добавленные в программу источники прокси.

Здесь находятся элементы управления, которые позволяют менять настройки источников, удалять их, добавлять, увидеть количество прокси и др.

Панель управления

Помощник

Позволяет легко добавить прокси или источник для проверки. Подробно описан в статье [Помощник].

Добавить прокси

Позволяет добавить прокси списком.

Добавить источник

Позволяет добавить источник сбора прокси. При клике открывается окно настроек источника. Подробнее об этом окне можно прочитать в статье [Настройки источников].

Настройки источника

Эта кнопка позволяет изменить настройки добавленных источников. После клика по кнопке Настройки источника откроются настройки, которые подробно описаны в статье [Настройки источников].

Удалить

С помощью кнопки удаления вы сможете удалить ненужные источники. Для этого выделите источники и нажмите кнопку Удалить.

Удаление источника также повлечёт удаление всех прокси этого источника.

Сохранить

С помощью этой кнопки можно сохранить адреса источников в файл.

Загрузить прокси

Эта функция позволяет загрузить прокси из источника.

Проверить прокси

После того как вы загрузили прокси с источника, можете проверить их, чтобы узнать, сколько из этих прокси живые.

После нажатия этой кнопки в верхней части таблицы появится шкала прогресса. С помощью кнопки Отмена, справа от шкалы, можно остановить процесс проверки.

Допроверить живые

Позволяет повторно проверить уже найденные живые прокси источников. Появится такая же шкала прогресса, как и в режиме Проверить прокси.

Развернуть

Кнопка Развернуть разворачивает группу со списком источников, если она была до этого в свёрнутом виде.

Свернуть

Кнопка Свернуть сворачивает группу со списком источников.

Панель авто-режима

С помощью этой кнопки можно активировать панель для быстрого управления загрузкой и проверкой прокси. Появляется такая панель над списком источников:

В левой части панели отображено количество источников (живые источники/общее количество). Справа:

• Загрузить — загрузка прокси из источников.
• Автопоиск — автоматический поиск новых источников прокси.
• Проверка — проверка найденных прокси.

Время загрузки

Кнопка Время загрузки добавляет три новых столбца в таблицу источников “Интервал загрузки“, “Следующая загрузка“, ”Рейтинг” (они будут описаны ниже).

Удалить все прокси

Удаляет все прокси из программы.

Чёрный список

Если прокси, содержащиеся в источнике, по каким-либо причинам не подходят для выполнения проекта, или сам источник не вызывает доверия, а ZennoProxyChecker продолжает добавлять и проверять прокси с этих источников, тратя драгоценное время и ресурсы, то такой источник можно добавить в Чёрный список и вы больше его не увидите.

Окно управления чёрным списком

Добавление в ЧС — для ручного добавления введите адрес в поле и нажмите клавишу Enter. Также можно добавить через контекстное меню (описано ниже в статье, в разделе [Контекстное меню]).

Удаление из ЧС — выделите источник, кликнув слева от него (прямоугольник с цифрой 2 на скриншоте) и нажмите клавишу Delete.

Импорт/экспорт — эти кнопки позволяют сохранить (экспорт) текущий ЧС или загрузить (импорт) ранее сохранённый.

Таблица источников

В этой таблице находится вся доступная информация по источникам прокси.

Тип источника	Тип источника
Локальный источник (файл на жёстком диске)	Удалённый (источник по URL адресу)

Статус источника	Статус источника	Статус источника
Прокси успешно загружены	Недоступные адреса или несуществующий файл	Адрес доступен, но прокси на нём не найдено

• Путь — здесь будет указан путь к источнику. Это может быть URL-адрес или путь к файлу на жёстком диске.
• Живые — количество живых прокси с этого источника. При клике по этому числу вы будете перенаправлены во вкладку Прокси, в которой будут показаны только прокси для этого источника.
• Всего — общее количество прокси на этом источнике.

Следующие колонки появляются при активации кнопки Время загрузки на Панели управления.

• Интервал загрузки — пауза между загрузками прокси с источника. Изменить можно в Настройках источников.
• Следующая загрузка — обратный отсчёт до следующей загрузки прокси.
• Рейтинг падает, если не удалось получить прокси из источника.

Выделение сразу нескольких источников

В таблице можно выделить сразу несколько источников для применения настроек сразу ко всем, а не по одному. Существует несколько способов сделать это:

Ctrl

Мышь + клавиша Ctrl — позволяет выделять несколько источников, но каждый по отдельности.

Shift

Мышь + клавиша Shift — позволяет выделять несколько источников подряд. Выделите один источник, нажмите Shift , затем кликните по другому источнику ниже или выше уже выбранного. В результате все, которые находятся между ними, будут также выделены.

Выделение группы

Если кликнуть по названию группы, то будут выделены все находящиеся в ней источники.

Ctrl+A

Нажатие этой комбинации клавиш выделит все прокси в развёрнутых группах.

Контекстное меню источника

• Загрузить/проверить/допроверить прокси — эти функции аналогичны одноимённым действиям из Панели управления (описано выше).
• Форсировать загрузку — выполняет ту же функцию, что и Загрузить прокси.
• Открыть источник — если это URL-адрес, то он будет открыт в браузере по умолчанию. Если это локальный файл, то он будет открыт в текстовом редакторе.
• Изменить метки — позволяет задать новую метку для источника.

• Настройки источника — открывает окно настроек. Подробнее про него можно прочитать в этой статье.
• Добавить в чёрный список — добавляет выделенные источники в ЧС. Подробнее о нём написано выше.
• Включить/выключить — позволяет выключить/включить источники. Выключенный источник отображён серым цветом в таблице и с него не загружаются прокси.
• Удалить — удаление источника и всех его прокси из программы.

Полезные ссылки

Помощник

Настройки источников

Прокси

Управление

Настройки источников

Настройки источника:

Вкладка “Источник прокси”

Настройки парсинга

Адрес — URL-адрес, с которого будут собираться прокси.

Выполнение JavaScript — эта настройка отвечает за выполнение JavaScript на странице сайта, с которого будут парситься прокси. В выпадающем меню выберите один из вариантов:

• Отключено;
• Включено;
• Автоопределение.

Удалять прежние прокси при запуске — при каждом новом сборе прокси, собранные в прошлый раз, будут удаляться.

Удалять прежние прокси, кроме живых, при загрузке — при каждом новом сборе прокси будут удаляться все прокси из базы, кроме живых. Настройка активируется после включения Удалять прежние прокси при запуске.

Удалять прежние прокси из живого списка при загрузке — нужно ли удалять прокси из списка живых при каждом новом сборе прокси? Настройка активируется после включения Удалять прежние прокси при запуске.

Добавлять адреса локальных сетей — выберите этот пункт, если хотите, чтобы ZennoProxyChecker собирал также адреса локальных сетей.

Парсить текст RSS — при установке флага помимо текста источника ищутся прокси в тексте RSS ленты, если она есть.

Парсить ссылки RSS — если RSS лента есть, из неё парсятся все ссылки и обрабатываются так же, как автоматически добавленные ресурсы, т.е. появляются в списке источников только те, на которых нашлись прокси. Новые источники помечаются меткой “RSS”.

Настройки проверки прокси

Режим проверки:

• Проверять прокси — будет происходить проверка прокси на работоспособность;
• Считать все прокси живыми — все прокси будут считаться живыми без проверки.

Протокол — здесь стоит выбрать протокол прокси, который используется в этом источнике. Если вы не знаете заранее протокол, то можете выбрать пункт Определять автоматически и тогда ProxyChecker самостоятельно вычислит его.

Возможные варианты:

• HTTP;
• SOCKS4;
• SOCKS5;
• Определять автоматически.

Проверять POST — проверяется, поддерживает ли прокси POST-запрос.

POST — запрос, который часто используется при отправке форм.

Проверять HTTPS — дополнительная проверка на доступность по HTTPS. Может снизить производительность.

Измерить скорость — в процессе проверки будет измерена также пропускная способность прокси. Включение этой настройки снижает производительность и увеличивает потребление трафика.

Ждать ответ — максимальное время ответа после запроса. Если по истечении указанного здесь времени прокси не вернул ответ, то он считается нерабочим.

Делать повторный запрос — послать запрос ещё раз в случае успеха первого. Отсеивает плохие прокси, но увеличивает время проверки.

Проверять на бан в Google — прокси проверяется на бан в Google.

Проверять на наличие в чёрных списках

Таблица появляется только после включения настройки.

Прокси проверяется на наличие в чёрных списках.

При клике по кнопке Добавить появится список из доступных адресов для проверки.

Кнопка Удалить позволяет удалить выделенные адреса из списка добавленных.

Некоторые DNS-сервера не пропускают большое количество запросов, из-за этого возможны ошибочные проверки. В таких случаях рекомендуется настроить в системе использование DNS вашего провайдера.

Проверка на любой URL

Эта функция предназначена для проверки, забанен ли прокси на конкретном сайте. Чтобы выбрать правило, нужно отметить чекбокс слева от названия правила (на скриншоте выбрано правило twitter).

При активации функции у вас появится дополнительное меню для настройки (по умолчанию там добавлено два правила для пример).

Добавление нового URL для проверки

Чтоб добавить новое правило, нажмите кнопку Новое правило. Откроется окно настроек:

• Имя правила — введите любое название, это никак не повлияет на проверку.
• Адрес (URL) — введите URL-адрес сайта, на котором будет проходить проверку прокси.
• Иконка — при желании можно загрузить favicon сайта, для этого нажмите кнопку Загрузить.
• Тип проверки

—> Содержит текст — этот тип проверки позволяет проверить, содержится ли определённый текст на проверяемом сайте. Текст для проверки пишите в окне Значение.

—> Не содержит текст — будет происходить проверка на отсутствие текста на сайте. Текст для проверки пишите в окне Значение.

—> Regex — здесь пишите значение регулярного выражения, в соответствии с которым будет происходить проверка.

Используйте макрос json {-ProxyIp-}, чтобы подставить текущий прокси запроса в проверочное значение.

Проверка

В этом разделе производится тестирование ваших настроек.

В поле Адрес страницы, автоматически подставляется URL-адрес, который вы добавили в поле Адрес (URL).

Прокси — вы можете выбрать, использовать прокси или нет.

Формат protocol://login:password@ip:port или protocol://ip:port

После внесения всех настроек нажмите кнопку Тестировать (1), и в графе Результат (2) отобразится результат теста: Тест пройден или Тест не пройден.

Нажав на слово Показать (3), вы увидите ответ сервера на тестовый запрос. Здесь можно проанализировать исходный код ответа и понять, почему тест мог провалиться.

После того как вы всё настроили, нажмите ОК для сохранения правила.

Ниже вы видите, как выглядит сохранённое правило со всеми параметрами, которые мы вносили. Вы можете его снова открыть для редактирования. Для этого выделите его и нажмите кнопку Редактировать.

Чтобы удалить правило, выделите правило и нажмите кнопку Удалить.

Вы можете добавлять неограниченное количество правил для проверки прокси.

Вкладка “Авто-режим”

Настройка автоматического парсинга

Интервал загрузки проксей с источника — пауза между сбором прокси из источника.

Например, если вы поставите интервал 20 минут, то прокси будут собираться каждые 20 минут.

Проверить прокси только один раз — при включении этой настройки все прокси с одного источника будут проверяться только один раз.

Настройка автоматической проверки

Минимальный интервал после предыдущей проверки — интервал между проверками прокси.

Минимальный интервал после взятия из живого списка — интервал, в течение которого прокси не будет проверен после взятия на использование.

Живой список

При неудачной проверке удалять прокси из живого списка немедленно — рекомендуется отключить для публичных прокси и включить для платных.

Полезные ссылки

Работа с прокси

Источники